change retrieveExportWithContentIdentifier to take a list of ContentIdentifier

This partly fixes an issue where there are duplicate files in the
special remote, and the first file gets swapped with another duplicate,
or deleted. The swap case is fixed by this, the deleted case will need
other changes.

This makes retrieveExportWithContentIdentifier take a list of allowed
ContentIdentifier, same as storeExportWithContentIdentifier,
removeExportWithContentIdentifier, and
checkPresentExportWithContentIdentifier.

Of the special remotes that support importtree, borg is a special case
and does not use content identifiers, S3 I assume can't get mixed up
like this, directory certainly has the problem, and adb also appears to
have had the problem.

Sponsored-by: Graham Spencer on Patreon

comment

comment

comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

deal with ignoreinode config setting

Improve handling of directory special remotes with importtree=yes whose
ignoreinode setting has been changed. (By either enableremote or by
upgrading to commit 3e2f1f73cbc5fc10475745b3c3133267bd1850a7.)

When getting a file from such a remote, accept the content that would have
been accepted with the previous ignoreinode setting.

After a change to ignoreinode, importing a tree from the remote will
re-import and generate new content identifiers using the new config. So
when ignoreinode has changed to no, the inodes will be learned, and after
that point, a change in an inode will be detected as a change. Before
re-importing, a change in an inode will be ignored, as it was before the
ignoreinode change. This seems acceptble, because the user can re-import
immediately if they urgently need to add inodes. And if not, they'll
do it sometime, presumably, and the change will take effect then.

Sponsored-by: Erik Bjäreholt on Patreon

comments

comment

improve wording

comment

comment

Added a comment

Added a comment

comment

vicfg: Include mincopies configuration

Sponsored-by: k0ld on Patreon

general purpose design for this todo

Sponsored-by: Boyd Stephen Smith Jr. on Patreon

belated response

comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

closing

Added a comment

Added a comment

removed

Added a comment

Added a comment

Added a comment: My current use case

mention that whereis --all skips dead keys

I looked at all man pages with --all, and this was the only one that
needs to add this disclaimer. Others like get and drop obviously
won't operate on dead keys anyway, because a dead key does not have any
content located anywhere.

improve wording

comment

update to work with modern git

comment

comment

fix reversion on skipping dead keys in --all/bare

Fix a reversion that made dead keys not be skipped when operating on all
keys via --all or in a bare repo. (Introduced in version 8.20200720)

Also, improved the documentation of git-annex-dead, it does not only apply
to fsck --all.

Also, made git-annex fsck, when run on a file whose key is dead, display
that. Before, it displayed that only when run with --all, but with this
fix, it skips dead keys with --all. But it can still be run on a file that
uses a dead key, and displaying "This key is dead" explains to the user
why it does not consider missing content for it to be a problem.

Sponsored-by: k0ld on Patreon

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

Added a comment: re: many small files

Added a comment: many small files

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment: re: How to forget keys that get can't find

comment

comment

comments

Added a comment

Added a comment

Added a comment

Added a comment: re: How to forget keys that get can't find?

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

don't force use of conduit in withUrlOptionsPromptingCreds

Use curl for downloads from git remotes when annex.url-options and other
git configs are set.

If the url needs a password, curl will fail, and git credential will not be
used to prompt for it. But the user can set --netrc in url-options and
put the password in the netrc file.

This also means that url-options settings like -4 will take effect.
That was the case before commit 1883f7ef8f9f617c60832c7f0794b54515fc652d
forced conduit to be used.

Added a comment: Using git-annex on NTFS with WSL2

comment

close

Merge branch 'master' of ssh://git-annex.branchable.com

avoid redundant prompt for http password in git-annex get that does autoinit

autoEnableSpecialRemotes runs a subprocess, and if the uuid for a git
remote has not been probed yet, that will do a http get that will prompt
for a password. And then the parent process will subsequently prompt
for a password when getting annexed files from the remote.

So the solution is for autoEnableSpecialRemotes to run remoteList before
the subprocess, which will probe for the uuid for the git remote in the
same process that will later be used to get annexed files.

But, Remote.Git imports Annex.Init, and Remote.List imports Remote.Git,
so Annex.Init cannot import Remote.List. Had to pass remoteList into
functions in Annex.Init to get around this dependency loop.

cache credentials in memory when doing http basic auth to a git remote

When accessing a git remote over http needs a git credential prompt for a
password, cache it for the lifetime of the git-annex process, rather than
repeatedly prompting.

The git-lfs special remote already caches the credential when discovering
the endpoint. And presumably commands like git pull do as well, since they
may download multiple urls from a remote.

The TMVar CredentialCache is read, so two concurrent calls to
getBasicAuthFromCredential will both prompt for a credential.
There would already be two concurrent password prompts in such a case,
and existing uses of `prompt` probably avoid it. Anyway, it's no worse
than before.

Added a comment

comment

comment

reporting flaky tests on ndoli

Added a comment: git-credential-netrc

Added a comment

Added a comment

initial todo on multiple passwords entry for get

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment